1
凸最適化の幾何学的基盤
MATH008Lesson 8
00:00
複雑な地形を歩き回り、安全地点に最も近い点を見つけることを考えましょう。最適化の言葉で言えば、この「安全」は集合 $C$ を意味し、最も近い点を見つける行為は 射影です。直感的には常に唯一の『最も近い』点があるように思えますが、数学的な現実にはより複雑な事情があります。凸最適化の幾何学的基盤は、『近接性』を形式化することにあり、ユークリッド的直感を超えて、指標関数やサポート関数のような厳密な関数表現へと進んでいます。

1. 射影と距離

点 $x_0$ から集合 $C$ までの距離は、集合内の点とのすべての距離の下限(infimum)として定義されます:

$\text{dist}(x_0, C) = \inf\{\|x_0 - x\| \mid x \in C\}$

この距離を達成する特定の最適化対象は、射影演算子です:

$P_C(x_0) = \text{argmin}\{\|x - x_0\| \mid x \in C\}$

単純な超平面 $a^T x = b$ の場合、射影は美しい閉形式解を持ちます:$P_C(x_0) = x_0 + (b - a^T x_0)a/\|a\|_2^2$。しかし一般の集合では、これは制約付き最適化問題のままです: 最小化:$\|x - x_0\|$、制約条件:$f_i(x) \leq 0$ および $Ax = b$

2. 機能的幾何学

幾何的制約を目的関数の一部として扱うために、二つの強力な関数的『鏡』を使います:

  • 指標関数 $I_C(x)$: $I_C(x) = \begin{cases} 0 & x \in C \\ +\infty & x \notin C \end{cases}$。これにより幾何学的構造が数値的なペナルティに集約されます。
  • サポート関数 $S_C(x)$: $S_C(x) = \sup_{y \in C} x^T y$。これは各方向における境界超平面によって集合を特徴づけます。
定理:モツキンの定理

空でなく、閉じた集合 $C \in \mathbf{R}^n$ は チェビシェフ集合 (すべての $x_0$ に対して一意な射影を持つ)ならば、かつそのときに限り

証明の概略(一意性)

$C$ が凸であり、ノルムが厳密に凸であると仮定します。もし $\|u - x_0\| = \|v - x_0\| = d$ となる異なる二つの最近傍点 $u, v \in C$ が存在した場合、中点 $w = (u+v)/2$ は $C$ に属します(凸性より)。

ノルムの厳密凸性により:$\|w - x_0\| = \|\frac{1}{2}(u - x_0) + \frac{1}{2}(v - x_0)\| < \frac{1}{2}\|u - x_0\| + \frac{1}{2}\|v - x_0\| = d$。

これは $d$ が最小距離であるという仮定に矛盾します。したがって、射影は一意でなければなりません。

注意点 8.4:ノルム依存性

我々はしばしば次のように分離超平面を構成します:$(P_C(x_0) - x_0)^T (x - (1/2)(x_0 + P_C(x_0))) = 0$。注意!この特定の構成は ユークリッドノルムの場合にのみ有効です。一般のノルムでは、直交性の扱いがより洗練されたものが必要です。

🎯 核心的洞察
凸性は幾何最適化における安定性を保証する『接着剤』です。これがないと、『最も近い点を見つける』という単純なタスクでも複数の矛盾する解が生じ、アルゴリズムの不安定性につながる可能性があります。